정보과학회논문지 (Journal of KIISE)
Current Result Document :
| 한글제목(Korean Title) |
합성곱 신경망을 위한 Elastic Multiple Parametric Exponential Linear Units |
| 영문제목(English Title) |
Elastic Multiple Parametric Exponential Linear Units for Convolutional Neural Networks |
| 저자(Author) |
김대호
김재일
Daeho Kim
Jaeil Kim
|
| 원문수록처(Citation) |
VOL 46 NO. 05 PP. 0469 ~ 0477 (2019. 05) |
한글내용
(Korean Abstract) |
활성화 함수는 신경망 모델의 비선형성과 깊이를 결정하는 중요한 요소이다. Rectified Linear Units (ReLU)가 제안된 이후, 평균값을 0에 가깝게 하여 학습의 속도를 높인 Exponential Linear Units(ELU)나 함수 기울기에 변화를 주어 성능을 향상시킨 Elastic Rectified Linear Units (EReLU)같은 다양한 형태의 활성화 함수가 소개되었다. 우리는 서로 다른 ELU와 EReLU를 일반화한 형태의 활성화 함수인 Elastic Multiple Parametric Exponential Linear Units (EMPELU)를 제안한다. EMPELU는 양수 영역에서는 임의의 범위로 기울기 변동을 주면서, 음수 영역은 학습 파라미터를 이용해 다양한 형태의 활성화 함수를 형성하도록 하였다. EMPELU는 합성곱 모델 기반 CIFAR-10/100의 이미지 분류에서 기존 활성화 함수에 비해 정확도 및 일반화에서 향상된 성능을 보였다.
|
영문내용
(English Abstract) |
Activation function plays a major role in determining the depth and non-linearity of neural networks. Since the introduction of Rectified Linear Units for deep neural networks, many variants have been proposed. For example, Exponential Linear Units (ELU) leads to faster learning as pushing the mean of the activations closer to zero, and Elastic Rectified Linear Units (EReLU) changes the slope randomly for better model generalization. In this paper, we propose Elastic Multiple Parametric Exponential Linear Units (EMPELU) as a generalized form of ELU and EReLU. EMPELU changes the slope for the positive part of the function argument randomly within a moderate range during training, and the negative part can be dealt with various types of activation functions by its parameter learning. EMPELU improved the accuracy and generalization performance of convolutional neural networks in the object classification task (CIFAR-10/100), more than well-known activation functions.
|
| 키워드(Keyword) |
Elastic Multiple Parametric Exponential Linear Uni
활성화 함수
합성곱 신경망
이미지 분류
딥러닝
Elastic Multiple Parametric Exponential Linear Uni
activation function
convolutional neural network
image classification
deep learning
|
| 파일첨부 |
PDF 다운로드
|
